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带 回 济 线 搜索 步 的 双子 问题 信赖 域 算 法 * 
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摘 ”要 : 无 约束 非 线性 优化 问题 广泛 存在 于 工程 、 科 学 计算 等 实际 应 用 领域 。 本 文 在 信赖 域 算法 的 框架 下 
提出 无 约束 子 问题 ， 将 它 与 信赖 子 问题 相 结合 ， 构 造 了 求解 无 约束 优化 问题 的 双子 问题 信赖 域 算 
法 。 同 时 利用 信赖 域 子 问题 得 到 的 试探 步 一 定 是 目标 函数 充分 下 降 方向 的 性 质 使 得 每 次 求解 信赖 
域 子 问 题 之 后 均 能 得 到 使 月 标 函 数 下 降 的 步 。 在 标准 假设 下 证 明了 该 算法 具有 全 局 收敛 性 和 局 部 
二 次 收敛 速度 。 数 值 结果 表明 该 算法 比 传统 的 信赖 域 算法 速度 更 快 更 有 效 。 
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无 约束 优化 是 非 线 性 最 优化 中 的 基本 问题 ， 它 不 但 具有 重要 的 理论 意义 ， 还 在 金融 、 工 
程 、 科 学 等 许多 领域 都 有 着 广泛 的 应 用 。 求 解 无 约束 优化 问题 的 算法 很 多 ， 信 赖 域 方 法 就 是 其 
中 一 种 非常 有 效 的 方法 。 信 赖 域 方法 兴起 于 上 个 世纪 七 、 八 十 年 代 ， 至 今 已 建立 了 比较 完善 的 
框架 和 理论 体系 。 但 有 时 候 由 于 信赖 域 约束 的 影响 ， 算 法 的 迭代 步 过 于 保守 。 比 如 当 目 标 函 数 
在 一 个 比 当前 信赖 域 大 很 多 的 区 域 上 凸 时 ， 可 能 需要 很 多 步 迭 代 才能 使 信赖 域 半 径 扩 大 到 包含 
局 部 极 小 值 点 的 区 域 。 为 了 尽量 减少 这 种 情况 的 产生 我 们 设计 了 一 个 新 的 算法 ， 力 图 在 保持 信 
赖 域 算法 优越 的 收敛 性 的 同时 节省 计算 量 和 计算 时 间 。 

一 方面 ， 通 过 引入 一 个 不 要 求 信赖 域 约束 的 无 约束 子 问题 ， 我 们 可 以 求 得 一 个 步 长 为 1 的 
牛顿 步 。 根 据 模型 函数 的 性 质 ， 我 们 选择 求解 信赖 域 子 问题 或 者 求解 无 约束 问题 。 另 一 方面 ， 
由 于 信赖 域 子 问 题 得 到 的 试探 步 一 定 是 目标 函数 的 充分 下 降 方向 ， 可 以 将 信赖 域 与 线 搜索 技巧 
相 结合 ， 在 试探 步 失败 时 进行 回溯 的 线 搜索 口 。 


2 无 约束 子 问题 和 双子 问题 信赖 域 算法 
考虑 无 约束 优化 问题 
min f(x), (1) 


TER™ 
其 中 了 是 R* 上 的 实 值 二 次 连续 可 微 函 数 ， 假 设 它 是 下 方 有 界 的 。 传 统 的 信赖 域 算法 是 迭 代 类 
型 的 数值 方法 ， 将 求 目标 函数 在 全 空间 的 局 部 极 小 值 点 转化 成 求 一 系列 目标 函数 的 近似 函数 在 
全 空间 的 某 个 子 集 也 就 是 信赖 域内 的 局 部 极 小 值 点 ， 最 终 得 到 目标 函数 的 局 部 极 小 值 点 名。 有 具 
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体 地 说 ， 假 设 当前 是 第 大 步 迭 代 ， 和 迭代 点 为 zk。 求解 信赖 域 子 问题 


| p mend 7 


st. |d| € Ax, 
HEP my (zy 十 加 是 目标 函数 f(z) 在 以 zk 为 中 心 A 为 半径 的 信赖 域内 的 近似 模型 。 定 义 预 估 
下 降 量 和 实际 下 降 量 的 比值 px 为 
f(zk) — f(zk + dk) 


ma(zk) — mi(zk + dy) 


Dk = (3) 
根据 pi 的 值 决定 是 否 接受 试探 步 以 及 对 信赖 域 半 径 如 何 调整 


Zk 十 dj， WR pk? M, 
Tk+1 7 


Tk, 如 果 Dk < M, 
[Ax, co)， 如 果 px > na, 
Ak+l 三 4 meAk Ax], 如 果 pr € [m1, m2)， 


MAk, Ak], WR pk < 器， 


其 中 常数 满足 0 <m < ga < LIO < 和 € yo c 1。 这 样 进行 迭代 ， 一 直到 求 得 的 迭代 点 处 梯 
度 的 范 数 满足 上 六 f(zi) 川 < s， 其 中 < 是 给 定 的 终止 参数 8 。 

21 两 个 子 问 题 

在 传统 的 信赖 域 方法 中 ， 通 常 选取 目标 函数 的 Taylor 展开 式 的 前 三 项 作为 信赖 域 子 问题 中 
模型 函数 mx 的 表达 式 ， 即 


my(zy +d) = f(x) + [Vaf (zi)] d+ 5d Vf (zn)d. (4) 
于 是 ， 我 们 得 到 标准 的 信赖 域 子 问题 


min f(e)  [Vzf()] d+ 54 V^ f) (5) 


S.t. lallz < Ax, (6) 


我 们 引进 无 约束 子 问 题 ， 即 不 要 求 信 赖 域 约束 (6)， 只 考虑 无 约束 子 问题 (5)。 我 们 考虑 无 约束 
子 问 题 的 目的 一 方面 是 为 了 通过 这 个 比较 好 求解 的 无 约束 模型 节省 计算 量 ， 另 一 方面 是 尽量 在 
一 个 选 代步 中 走 得 更 远 ， 从 而 使 算法 更 快 地 收敛 。 

显然 ， 当 模型 函数 (4) 非 凸 的 时 候 无 约束 子 问题 (5) 是 不 合适 的 ， 而 且 不 加 限制 地 使 用 无 约 
束 子 问题 可 能 会 导致 算法 不 收敛 ， 因 此 只 在 Hessian 和 矩阵 正定 时 我 们 才 选 取 无 约束 子 问 题 。 在 
算法 开始 时 根据 Hessian 算 阵 是 否 正定 来 决定 子 问题 的 选取 ， 若 矩阵 正定 选取 无 约束 子 问题 ， 
否则 选取 信赖 域 子 问题 。 在 算法 的 中 间 迭 代 过 程 中 除了 利用 比值 ok 的 值 来 决定 是 否 接受 试探 
步 以 及 信赖 域 半径 的 调整 以 外 ， 还 利用 这 个 比值 判断 是 否 要 更 换 子 问题 。 具 体 地 做 法 是 当选 
取 的 是 无 约束 子 问题 求 得 的 牛顿 步 而 且 ox 的 值 小 于 一 个 正常 数 m2 IE BRE V? f (zi) 不 正定 的 时 
候 ， 我 们 就 认为 可 能 无 约束 子 问题 是 不 合适 的 ， 因 此 在 下 一 步 选 择 求解 信赖 域 子 问题 。 如 果 前 
面 的 迭代 步 是 求解 信赖 域 子 问题 ， 而 当前 模型 函数 是 凸 函数 并 且 和 目标 函数 吻合 得 很 好 ， 我 们 
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就 重新 选取 无 约束 子 问题 。 在 我 们 的 算法 里 利用 比值 mr 是 否 在 连续 两 步 迭 代 中 都 比 给 定 的 常 
数 B 大 来 判断 模型 函数 和 目标 函数 是 否 吻合 得 很 好 ， 其 中 常数 6 一 1 且 < 1。 这 些 规则 使 得 
无 约束 子 问 题 中 的 V?f(zx) 一 定 是 正定 的 。 此 时 求解 无 约束 子 问题 的 极 小 值 点 等 价 于 求 


Vmy (x + d) = 0, 


也 就 是 求解 线性 方程 组 
V? f(zy)d = -V= f (zk). 

V? f (z.) 正定 性 的 判断 可 以 使 用 Cholesky 分 解 进 行 ， 由 于 求 信赖 域 子 问题 的 精确 解 回 的 算法 也 
需要 Cholesky 分 解 而 且 Cholesky 分 解 的 结果 也 可 以 用 于 直接 法 求解 上 面 的 方程 ， 因 此 并 没有 
引起 计算 量 的 浪费 。 

2.2 ”回溯 的 线 搜索 

求解 信赖 域 子 问题 (2) 的 时 候 ， 由 于 可 以 证 明 试 探 步 dj 总 是 目标 函数 的 一 个 充分 下 降 方 
向 由， 因此 当 迭 代步 di 使 得 目标 函数 值 上 升 的 时 候 总 可 以 沿 di 进行 回溯 的 线 搜索 找到 使 1 下 
降 的 点 。 

回溯 线 搜索 实际 上 就 是 找 一 个 满足 


f(z + ady) < flak) 


的 最 小 正 整 数 i， 其 中 Qe (0,1) 是 一 个 正 的 常数 。 在 文献 [1] 中 给 出 了 步 长 w 的 一 个 选取 方式 


0.5 
2 TE QG) — Fr + do)/dE Vs f(x)" 


这 是 通过 截断 二 次 插值 得 到 的 。 因 为 在 我 们 的 算法 里 面 (n), Vaf (ra) V" f (3), f Gri di) ff 
信息 都 是 有 的 ， 因 此 我 们 可 以 利用 更 高 阶 的 插值 得 到 a。 令 
q = 5dE V? f(rs)ds, 


则 
[Va f (z)]7 d 
q? — 3(V« f (z)]7 de (f (zi + dk) — a — [Vaf (En) dk — FE) 


当 分 母 为 零 时 可 以 取 
zr [V f (z)]7 dk 
dl V? f (zi)ds j 

或 者 截断 二 次 插值 得 到 的 结果 。 为 避免 ax 过 小 的 情况 ， 实 际 计算 时 取 ak = max[0.1, aj。 

根据 以 上 思想 ， 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 的 主要 做 法 就 是 在 信赖 域 算 法 的 框 
架 下 ， 在 较 大 的 凸 区 域 里 利用 无 约束 子 问 题 求 得 牛顿 步 ， 并 且 在 需要 的 时 候 将 信赖 域 子 问题 与 
回溯 线 搜索 相 结合 。 

算法 1 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算 法 。 

步 1 初始 化 。 给 出 初始 点 xo 以 及 初始 信赖 域 半径 Ao > 0。 给 定常 数 mm N, ms Y2 V3 B 
且 满 足 

O0cmtzmc«B«1, <II y. 


4 iter := 0, btime:— 0, fmin := f(z0)。 定 义 开 关 TR := 0。 
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步 2 计 算 试探 步 。 车 V2 了 (zx) 不 正定 ， 令 TR := 11。 车 TR = 1， 求 解 信赖 域 子 问题 (2)， 
否则 求解 无 约束 子 问 题 (5) 得 到 步 长 为 1 的 牛顿 步 。 
步 3 回溯 线 搜索 。 计算 试探 点 zt = zk 十 dy 及 相应 的 函数 值 f(z) $ iter := iter + 1o 
车 f (ai) > fmin 
ZTR-1, WT 2E 19 REE tkt, fmin := f(zkii) Arpi = 48 + 02) 
转 步 2。 
车 TR = 0， 则 令 TR:=1, tky = Zn。 车 ||dx|| > Ak， 则 转 步 2?， 否 则 Ak+il := 
iQm-0)4A.. 82. 
否则 计算 
"e f(zx) — f(xt) l 
ma (zx) — Mp(Zt) 
步 4 接 受 试探 步 并 更 新 信赖 域 半径 与 开关 。 fmin = f(zi), 2&1 = Tto 

Ë pk 2 m 

A TR—1Hpk > 6， 则 btime := btime +1, Ak+1 := %3Ak. f btime =2, M 

TR:=0, btime := 0， 转 步 2。 否 则 ， 转 步 2。 

车 TR=1， 则 Axsy1 := Akr, btime := 0， 转 步 2。 

若 TR = 0， 转 步 2。 
车 0 < py <m 

车 TR = 0， 则 令 TR:= 1, btime := 0。 若 dri > Ak， 转 步 2; 3E py « m. Wil 

Aki: i832) FG 2i TIE 2. 
车 TR=1， 则 btime := 0. Zi oy <m, M Aky := 1o 十 72)Ak。 转 步 2。 





3 ”收敛 性 


在 这 一 节 我 们 给 出 关于 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算 法 的 收敛 性 的 一 些 结果 。 首 先 
给 出 一 个 引 理 凹 。 
引 理 1 若 di 是 信赖 域 子 问 题 (2) 的 解 ， 则 必 存 在 一 个 正 的 常数 7 使 得 


m(zk) — m(zx + dk) 2 TVs f(zx)l| min (As, Vzf (zi) N/T f ()1)- (7) 


这 个 引 理 的 证 明 可 以 参阅 文献 [1]， 这 里 不 再 袭 述 。 有 了 这 个 引 理 ,我们 可 以 得 到 如 下 定 
理 。 
定理 1 假设 f(z) 是 二 次 连续 可 微 的 实 值 函 数 并 且 是 下 方 有 界 的 ， 假 设 Vsf(z) 一 致 连 
续 且 对 所 有 的 x € RRA |V] € ripn， 其 中 jn 是 一 个 正常 数 。 对 于 模型 函数 假 
Emele) = fler) WE 


lim inf |V f (z4)]] = 0. (8) 
证 明 定义 
BrE 1+ max [VF], (9) 


HP By = {x E€ R” | iz- zrl| < Ax}。 为 了 得 到 了 矛盾 ， 我 们 假设 对 所 有 的 k， 有 


ll V. £)]| = vf (zr) 2 €, (10) 
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对 某 个 e > 0 成 立 。 定 义 了 = JU M ERE por > m 的 整数 k 的 集合 ， 其 中 了 包含 的 是 由 无 约束 
子 问题 得 到 的 迭代 步 的 指标 ， 而 M 是 由 信赖 域 子 问题 得 到 的 迭代 步 的 指标 。 由 于 算法 1 得 到 的 
和 迭代 步 是 单调 下 降 的 ， 因 此 对 于 牛顿 步 Ae J， 我 们 有 


f(Ek)— (£141) > m [ma(zx) — m(zs + d«)] 
- P ms[By'g. > 3 2 jm JS. (11) 


其 中 我 们 利用 (9) 得 到 第 二 个 不 等 式 。 对 于 迭代 k € M， 根 据 我 们 的 假设 及 引 理 1 必 存在 一 个 
常数 上 满足 


m(zZk) — m(zx + dx) > umin(A,, 1/| Bill) (12) 
故 
f(zx) — F(£k41) > m [me(zx) ^ m(r + di)] 
> pm min(As,1/|Bi|) > pm min( As, 1/8.). 
因此 
Y fk) - f(x] > 》 FG) 7 f()] 
k=i kcl 
>35 2» I + pm X min(As 1/8.) 
kc M 


由 于 f(z) 下 方 有 界 ， 故 了 中 只 存在 有 限 个 元 素 且 


lim min(A,, 1/8) = 0. (13) 


我 们 现在 证 明 这 个 结果 对 于 k #4 了 也 是 成 立 的 。 若 IT 有 限 ， 由 算法 1 我 们 知道 
Aki < 3 + 72)Ak, 
对 于 所 有 足够 大 的 成 立 ， 故 {Ak} 一 0， 再 加 上 我 们 选择 无 约束 子 问题 的 规则 ， 必 有 
Jim, min(As, 1/54) = 0. (14) 


若 了 是 无 限 的 ， 考 虑 一 个 指标 了 4 T。 令 为 满足 e 工 的 小 于 了 的 最 大 整数 。 由 于 {6i} 是 单调 
增 的 且 A; < 78A;， 我 们 得 到 


min(A;, 1/8;) € Y3 min(A;, 1/8;). (15) 


AE (14) 成 立 。 但 与 文献 四 中 引 理 3.5 相 似 ， 我 们 可 以 证 明 对 于 所 有 迭代 存在 Ak 的 下 界 。 这 
与 (14) 矛盾 。 因 此 我 们 的 假设 (10) 必定 是 错误 的 ， 从 而 得 到 (8)。 

由 上 述 两 个 引 理 ， 不 难得 到 关于 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 的 全 局 收敛 性 及 局 
部 收敛 速度 的 估计 。 
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定理 2 在 引 理 1 的 假设 下 ， 设 {zk} 是 算法 1 得 到 的 迭代 点 列 。 若 (nx) SCRI à ct 
足 V2f(z*) 正定 ， 则 收敛 速度 是 二 次 的 ， 即 
[zi — 7*)| = O(llzk — z* 1). 
证 明 根据 无 约束 模型 函数 的 选取 规则 ，(16) 的 证 明 与 文献 [6] 中 的 定理 5.1.2 类 似 。 故 定理 
得 证 。 
可 见 ， 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 很 好 地 保持 了 传统 的 信和 赖 域 算 法 的 收敛 性 


(16) 


" 
4 ”数值 实验 


这 一 节 我 们 给 出 带 回 溯 线 搜索 步 的 双子 问题 信赖 域 算 法 的 数值 实验 结果 。 我 们 将 这 个 算法 
与 传统 的 信赖 域 方 法 相 比 较 ， 选 取 的 测试 函数 是 CUTEr 测试 集中 的 153 个 无 约束 优化 问题 。 
问题 的 名 字 和 维 数 详 见 表 1 及 表 2。 

















Ai: 测试 问题 及 相应 的 维 数 
问题 维 数 问题 维 数 问题 维 数 问题 维 数 
AKIVA 2 DIXMAANG 300 HILBERTB 10 PENALTY3 50 
ALLINITU 4 DIXMAANH 300 HIMMELBB 2 POWELLSG 1000 
ARGLINA 100 DIXMAANI 300 HIMMELBF 4 POWER 100 
ARGLINB 100 DIXMAANJ 300 HIMMELBG 2 QUARTC 1000 
ARGLINC 10  DIXMAANK 15  HIMMELBH 2 ROSENBR 2 
ARWHEAD 1000 DIXMAANL 300 HUMPS 2 S308 2 
BARD 3 DIXON3DQ 1000  HYDC20LS 99 SBRYBND 100 
BDQRTIC 1000 DJTL 2 INDEF 1000 SCHMVETT 1000 
BEALE 2 DQDRTIC 1000 | JENSMP 2 SCOSINE 10 
BIGGS6 6 DQRTIC 1000 KOWOSB 4 SCURLY10 100 
BOX3 3 EDENSCH 2000  LIARWHD 1000  SCURLY20 100 
BRKMCC 2 EG2 1000 LOGHAIRY 2 SCURLY30 100 
BROWNAL 10 | EIGENALS 110 MANCINO 100 SENSORS 10 
BROWNBS 2 EIGENBLS 110 MARATOSB 2 SINEVAL 2 


我 们 使 用 的 是 问题 提供 的 初始 点 和 精确 一 阶 及 二 阶 导数 。 测 试 环境 是 Dell OptiPlex 755 型 
计算 机 (2.66 GHz，1.96 GB of RAM)，Linux (fedora core 8) 操 作 系 统 ，gcc 编 译 器 (version 
4.2.3)， 选 用 双 精 度 进行 实验 。 当 和 迭代 步 数 超过 1000 步 或 者 CPU 时 间 超过 1 小 时 则 算法 强制 中 
止 。 此 时 我 们 认为 算法 对 该 问题 的 求解 失败 。 由 于 目前 信赖 域 方法 对 于 参数 的 选择 没有 公认 的 
标准 四， 而 且 算 法 表现 对 于 参数 变化 也 不 敏感 ， 故 参数 选取 只 需要 符合 算法 1 步 1 中 的 条 件 即 
可 。 具 体 取 值 如 下 


41201, 4420.6, y=25 m=0l m=0.75, B=09 Ao=1. 
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使 用 子 程序 GQTPAR5 精确 求解 信赖 域 子 问题 。 两 个 算法 的 中 止 准则 都 是 儿 vA(zp)l < 
1076. 

带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 成 功 地 求解 了 135 个 问题 而 传统 的 信赖 域 算法 成 
功 求解 了 136 个 问题 。 因 此 这 个 新 算法 和 传统 算法 的 可 靠 性 是 一 致 的 。 两 个 算法 在 13 个 问题 
上 都 失败 了 。 在 剩 下 的 140 个 问题 中 ， 新 算法 在 96 个 问题 上 需要 的 迭代 次 数 更 少 ， 其 中 最 好 
的 比值 是 1:17。 在 23 个 问题 的 求解 过 程 中 这 两 种 算法 需要 相同 的 迭代 次 数 以 及 函数 值 、 梯 度 
值 、Hessian 和 矩 阵 的 求 值 次 数 。 传 统 的 信赖 域 算 法 在 13 个 问题 上 需要 较 少 的 迭代 和 求 值 次 数 。 
有 8 个 问题 两 个 算法 的 迭代 次 数 相同 但 是 传统 的 算法 需要 的 求 值 次 数 少 。 





表 2: 测试 问题 及 相应 的 维 数 
问 题 维 数 问 题 维 数 问题 维 数 问题 维 数 
BROWNDEN 4 EIGENCLS 30 MEXHAT 2 SINQUAD 500 
BROYDN7D 1000  ENGVALI 1000 MEYER3 3 SISSER 2 
BRYBND 1000 | ENGVAL2 3 | MODBEALE 2000 SNAIL 2 
CHAINWOO 1000 ERRINROS 50 MOREBV 1000  SPARSINE 1000 
CHNROSNB 50 EXPFIT 2 MSQRTALS 100  SPARSQUR 1000 
CLIFF 2 | EXTROSNB 10  MAQRTBLS 100 SPMSRTLS 499 
COSINE 10 FLETCBV2 1000 NONCVXU2 100  SROSENBR 1000 
CRAGGLVY 100  FLETCBV3 10  NONCVXUN 100  STRATEC 10 
CUBE 2 | FLETCHBV 10 NONDIA 1000 TESTQUAD 1000 
CURLY10 1000 FLETCHCR 100 NONDQUAR 1000 TOINTGOR 50 
CURLY20 1000 FMINSRF2 121 NONMSQRT 49 TOINTGSS 1000 
CURLY30 1000 FMINSURF 121  OSBORNEA 5 TOINTPSP 50 
DECONVU 61 FREUROTH 500 OSBORNEB 11  TIONTQOR 50 
DENSCHNA 2 | GENHUMPS 500 OSCIPATH 15  TQUARTIC 1000 
DENSCHNB 2 GENROSE 100  PALMERIC 8 TRIDIA 1000 
DENSCHNC 2  GROWTHLS 3 PALMERID 7 VARDIM 100 
DENSCHND 3 GULF 3 PALMER2C 8 | VAREIGVL 50 
DENSCHNE 3 HAIRY 2 PALMER3C 8 | VIBRBEAM 8 
DENSCHNF 2 HATFLDD 3 PALMER4C 8 WATSON 12 
DIXMAANA 1500  HATFLDE 3 PALMER5C 6 WOODS 1000 
DIXMAANB 1500  HEART6LS 6 PALMER6C 8 YFITU 3 
DIXMAANC 300  J HEARTSLS 8 PALMER7C 8 | ZANGWIL2 2 
DIXMAAND 300 HELIX 3 PALMER8C 8 
DIXMAANE 300 HIELOW 3 PENALTY} 100 
DIXMAANF 300 HILBERTA 2 PENALTY2 100 


另外 ， 也 可 以 考虑 将 我 们 的 算法 中 选择 无 约束 子 问 题 的 标准 适当 放宽 ， 即 我 们 增加 一 个 常 
Hin, BE m < ms < me。 将 算法 的 第 4 步 当 0 < pj < n; 时 的 步骤 做 如 下 调整 
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EO < pk < n» 
车 TR=0 
d py «ms, WS TR:= 1, btime :— 0. 
E del > Ak， 则 转 步 2; 否 则 若 pk <m WALL := (0232) 8752; 否则 
转 步 2。 
车 TR=1， 则 btime := 0。 若 pk «m W Aky := 雪 (X 二 加)Ak。 转 步 2。 

这 样 当 无 约束 子 问题 得 到 的 试探 步 对 应 的 比值 pk < n 的 时 候 并 一 定 下 一 步 就 选择 求解 信赖 
域 子 问题 ， 只 有 当 px 小 于 一 个 比 m 还 小 的 常数 ms 的 时 候 才 认为 无 约束 子 问 题 是 不 合适 的 ， 在 
后 面 一 步 迭 代 变 换 子 问 题 。 前 面倒 述 的 算法 相当 于 取 7 = no = 0.75 的 情形 。 

1， 图 2， 图 3， 图 4， 图 5 分 别 给 出 了 我 们 的 新 算法 和 欠 代 次 数 、 和 迭代 时 间 、 目 标 函 数 求 
值 次 数 、 梯 度 求 值 次 数 、Hessian 和 矩阵 求 值 次 数 与 信赖 域 算法 相 比 较 的 性 能 描述 图 。 图 中 横 
轴 7+ 是 一 个 大 于 1 的 常数 。 纵 轴 中 


tees tp,s 
P^ min{tps:s€S} 


其 中 5 是 算法 的 集合 ， 即 我 们 要 比较 的 2 个 算法 ， 故 n。= 2。 如。 是 我 们 要 比较 的 特定 算 
法 s 求 解 问题 p 的 迭代 次 数 、 时 间或 函数 、 梯 度 、Hessian 矩阵 的 求 值 次 数 。 而 


1 
Plrps ST:1< 8< ns) = —sizeip€ P : fps < 7}, 
p 


其 中 书 是 测试 问题 的 集合 ，mp 是 测试 问题 的 个 数 。 因 此 由 图 1 我 们 可 以 看 出 ， 当 = 2, P» 
0.9， 即 对 于 CUTEr 测试 集中 的 无 约束 测试 问题 ， 对 超过 9096 的 算 例 我 们 的 算法 至 多 需要 最 佳 
算法 2 倍 的 迭代 步 数 即 可 对 问题 求解 。 我 们 也 计算 了 ws 取 0.3, 0.5 的 情况 ， 数 值 实验 得 到 的 结 
果 与 取 m = 0.75 差别 很 小 ， 图 像 几 乎 是 重合 的 。 由 图 像 容易 看 出 新 算法 比 传统 的 算法 效率 更 
高 。 由 于 新 的 算法 并 没有 带 来 计算 量 的 浪费 而 通常 求解 一 个 步 长 为 1 的 牛顿 步 都 比 求解 信赖 域 
子 问题 计算 量 小 ， 因 此 我 们 的 新 算法 在 计算 时 间 上 的 优势 也 是 很 明显 的 ， 尤 其 是 当 问 题 的 维 数 
比较 大 的 时 候 。 
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图 3: 目标 函数 求 值 次 数 的 性 能 描述 图 4: 梯度 求 值 次 数 的 性 能 描述 
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图 5: Hessian 甜 阵 求 值 次 数 的 性 能 描述 


5 ”结论 


我 们 提出 了 求解 无 约束 优化 问题 的 一 个 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 并 证 明 在 标 
准 假设 下 ， 这 个 算法 是 全 局 收敛 的 并 且 具 有 局 部 二 次 收敛 速度 。 通 过 对 CUTEr 测试 集 无 约束 
问题 进行 的 数值 试验 的 结果 可 以 看 出 ， 带 回溯 线 搜索 步 的 双子 问题 信赖 域 算法 无 论 是 在 欠 代 次 
数 、 迭 代 时 间 还 是 在 函数 及 其 梯度 、Hessian 矩阵 的 求 值 方面 都 比 传统 的 信赖 域 算 法 更 有 效 。 

致谢 : 作者 衷心 感谢 导师 袁 亚 湘 研究 员 对 本 文 提出 的 修改 意见 。 
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A Trust-region Method with Two Subproblems 
and Backtracking Line Search 


TANG Ming-yun 


(College of Science, China Agricultural University, Beijing 100083) 


Abstract: Unconstrained optimization problems occur frequently in many real world applications 
such as engineering and scientific computing. Under the trust-region framework, we combine an un- 
constrained subproblem with a trust-region subproblem, and propose a trust-region method with two 
subproblems for solving unconstrained optimization. A backtracking line search is carried out if the 
trust-region trail step fails since there is always a sufficient descent direction for the objective function. 
The global convergence and the local quadratic convergence rate are proved under standard assump- 
tions. Numerical results show that this algorithm is reliable and more efficient. 
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